ฟัตช์เกิดในฮิลสโบโร รัฐมิสซิสซิปปี แต่ก็ได้ย้ายไปอยู่กับครอบครัวที่ดีทรอยต์ รัฐมิชิแกน เมื่อตอนที่เขาอายุได้ห้าขวบ พวกเขาอาศัยอยู่ในแบล็กบอตทอมซึ่งเป็นบริเวณหนึ่งของเมือง เมื่อฟัตช์เป็นวัยรุ่น เขาได้เล่นบาสเกตบอลในระดับกึ่งอาชีพให้แก่มอร์แลนด์วายเอ็มซีเอแฟลช เขาวางแผนที่จะเข้าเรียนที่โรงเรียนวายเอ็มซีเอคอลเลจสคูลที่มหาวิทยาลัยชิคาโก แต่เมื่อเกิดภาวะเศรษฐกิจตกต่ำครั้งใหญ่ เขาก็ได้ถูกบังคับให้ทำงานที่โรงแรมวูล์ฟเวอรีนเพื่อช่วยเหลือครอบครัวของเขา ที่ซึ่งเขาได้รับการฝึกจากโปรโมเตอร์และผู้ฝึกสอนที่มีชื่อว่าดอน อาร์นอตต์[2]

ใน พ.ศ. 2475 ฟัตช์ชนะการแข่งในรุ่นไลท์เวทของสมาคมกีฬาดีทรอยต์ และใน พ.ศ. 2476 เขาได้ชนะการแข่งรายการโกลเดนโกลฟของดีทรอยต์ เขาเข้ารับการฝึกสอนที่โรงยิมเดียวกับโจ หลุยส์ ที่บริวสเตอร์รีครีเอชันเซ็นเตอร์ยิม และมักจะประชัญฝีมือกับนักชกที่เป็นแชมป์ในอนาคต แต่เนื่องด้วยการป้องกันไม่ให้เกิดอาการเสียงฟู่ของหัวใจเขาจึงได้หันเหอาชีพ และเริ่มมาเป็นผู้ฝึกสอนมวยสากลแทน